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Tornado Tcp Program 


本 书 主要 通过 讲解 tornado 相 关 api 及 技巧 ， 来 进行 tcp 编 程 以 及 rpc 相 关 知 识 。 


这 里 是 各 种 服务 器 性 能 的 一 个 简单 对 比 ， 看 过 之 后 ， 可 以 发 现 tornado 的 性 能 还 是 很 不 错 的 ， 
基本 可 以 达到 go 的 水 平 。 特 别 是 在 pypy 的 环境 下 。 


本 书写 的 比较 浅 略 ， 如 果 有 兴趣 ， 欢 迎 跟 我 一 起 研究 相关 内 容 。 


如 果 对 你 有 帮助 ， 请 点 右上 角 subscribe 或 者 star. 


what's the tornado? 


Tornado 和 现在 的 主流 Web 服务 器 框架 (包括 大 多 数 Python 的 框架 ) 有 着 明 íi 区 别 : 它 
是 非 阻塞 式 服务 器 ， 而 且 速 度 相当 快 。 得 利于 其 非 阻塞 的 方式 和 对 epoll 的 运用 ，Tornado 每 
秒 可 以 处 理 数 以 千 计 的 连接 ， 因 此 Tornado 是 实时 Web 服务 的 一 个 理想 框架 。 


但 其 实 tornado 也 非常 适合 写 tcp 服 务 器 ,在 twisted 和 tornado 的 性 能 对 比 中 可 以 发 现 ，tornado 的 
性 能 远大 于 twisted， 尤 其 是 在 pypy 的 环境 下 。 因 此 ， 本 书 主要 来 讲解 如 何 使 用 tornado 来 进行 
tcp 的 开发 。 


本 书 的 读者 为 具有 一 定 python 基 础 ， 使 用 过 或 想 去 使 用 tornado 的 读者 。 
本 书 实验 环境 为 tornado4.3/4.4，python 版 本 为 py2.7/pypy4.0. 


本 书 主要 参考 tornado 官 方 教程 以 及 网 上 的 资料 ， 如 果 有 涉及 到 版 权 问 题 ， 请 联系 我 。 


2.ioloop 


说 到 tornado， 那 就 不 得 不 说 他 的 ioloop， 这 是 这 个 框架 的 灵魂 所 在 。 通 过 一 段 简单 的 代码 ， 
来 开启 tornado tcp 编 程 的 大 门 。 


import errno 

import functools 
import tornado.ioloop 
import socket 


def connection ready(sock, fd, events): 
while True: 

CAVE 
connection, address = sock.accept() 

except socket.error as e: 
if e.args[0] not in (errno.EWOULDBLOCK, errno.EAGAIN): 

raise 

return 

connection.setblocking(0) 

handle_connection(connection, address) 


aN name == ' qain ': 
sock = socket.socket(socket.AF INET, socket.SOCK STREAM, 0) 
sock.setsockopt(socket.SOL SOCKET, socket.SO REUSEADDR, 1) 
sock.setblocking(0) 
sock.bind(("", port)) 
sock. listen(128) 





io loop = tornado.ioloop.IOLoop.current() 

callback = functools.partial(connection ready, sock) 

io loop.add handler(sock.fileno(), callback, io loop.READ) 
io loop.start() 


这 是 官方 文档 给 出 的 一 段 简单 的 tcpserver 的 代码 ， 那 么 我 们 就 从 它 来 分 析 一 下 。 首先 是 
socket 的 部 分 ， 创 建 了 一 个 socket， 然 后 下 面 是 ioloop 的 部 分 。 首 先 我 们 创建 一 个 ioloop 实 例 ， 
然后 创建 了 一 个 回调 函数 ，(partial 这 个 函数 不 用 太 关 心 ， 就 是 一 种 绑 定 参数 的 函数 写法 。) 
然后 给 ioloop 加 上 一 个 handler， 用 于 监听 socket， 最 后 开启 ioloop。 当 ioloop 开 启 以 后 ， 就 会 
去 执行 回调 函数 connecction_ready。 


以 上 就 是 创建 一 个 simpleTCPServer 的 步骤 ， 接 下 来 我 们 主要 围绕 jioloop 来 说 一 下 与 它 相关 的 
函数 方法 。 


2.1 ioloop 的 基本 函数 


1.10Loop.current(instance=True) 

如 果 当 前 的 ioloop 已 经 运行 了 ， 那 么 这 个 函数 就 是 用 来 获得 当前 线程 里 的 IOLoop 对 象 。 
2.10Loop.start() 

这 个 函数 就 很 简单 了 ， 就 是 开启 我 们 的 ioloop， 它 会 一 直 运 行 下 去 ， 直 到 有 人 调用 了 stop()。 
3.10Loop.stop() 


这 个 就 是 上 面 说 的 用 来 停止 ioloop 循 环 的 。 


4.lOLoop.run sync(func, timeout=None) 
这 个 函数 是 在 ioloop 开 局 时 去 执行 func 这 个 函数 ， 然 后 关闭 ioloop，func 执 行 完 它 会 自动 执行 


stop()， 这 个 不 用 担心 。 


@gen.coroutine 
def main(): 
# do sth... 


if name — dI dT EUR: 





IOLoop.current().run sync(main) 


5.add handler(fd, handler, events) 


注册 一 个 handler， 从 fd 那里 接受 事件 。fd 呢 就 是 一 个 描述 符 ，events 就 是 要 监听 的 事件 。 
events 有 这 样 几 种 类 型 ，IOLoop.READ, IOLoop.WRITE, 还 有 IOLoop.ERROR. 很 好 理解 ， 读 
写 事件 ， 还 有 错误 异常 。 


当 我 们 选 定 的 类 型 事件 发 生 的 时 候 ， 那 么 就 会 执行 handler(fd, events) ° 
6.update_handler(fd, events) 

用 来 更 新 上 面 我们 注册 的 handler 的 。 

7.remove_handler(fd) 

停止 监听 fd 上 面 的 所 有 事件 。 


以 上 就 是 在 ioloop 开 局 的 时 候 ， 涉 及 到 的 主要 函数 及 其 作用 的 介绍 。 


ioloop 的 基本 有 函数 


2.2 ioloop 的 回调 函数 


1.10Loop.add_callback(callback, args, “kwargs) 
这 个 函数 是 最 简单 的 ， 在 ioloop 开 局 后 执行 的 回调 函数 callback，args 和 Nico vile pt 
函数 的 参数 。 一 般 我 们 的 server 都 是 单 进程 单线 程 的 ， 即 使 是 多 线程 ， 那 么 这 个 函数 也 是 安全 
的 。 
2.10Loop.add_callback_from_signal(callback, args, *kwargs) 

个 函数 和 上 面 的 很 类 似 ， 只 不 过 他 是 在 without any stack_context 的 时 候 去 执行 ， 关 于 
eee ， 查 阅 这 里 


3.10Loop.add_future(future, callback) 


$ uias 是 添加 一 个 callback 有 函数 ， 当 给 定 的 这 个 future 执 行 完 的 时 候 ，callback 会 去 执 
行 ， 这 个 函数 有 唯一 的 一 个 参数 就 是 这 个 future 对 象 。 关 于 future 呢 ， 后 面 会 详细 去 讲 。 


4.lOLoop.add timeout(deadline, callback, args, *kwargs) 
44 callback &  Æ deadline 49 H 4& > 3x À deadline T VA x time.time > À *T YA x 
datetime.timedelta。 还 有 ， 这 个 函数 线程 不 安全 。 
5.10Loop.call_at(when, callback, args, *kwargs) 

À BRAN AN SER $ T > Æioloopé #6 > &Æwhenit SH À RAAT callback BA » € 
ee eu 的 功能 AG ° 
6.10Loop.call_later(delay, callback, args, *kwargs) 


这 个 函数 和 上 面 的 差不多 ， 这 是 在 ioloop 启 动 后 的 delay 秒 后 ， 去 执行 callback。 上 面 的 是 一 个 
时 间 点 ， 而 这 个 函数 是 多 少 秒 。 ioloop.I0Loop.current().call later(3, func) 这 就 是 在 
ioloop È 4H) 3s YAJ& 7k A f rfunc h žr © 

7.lOLoop.remove timeout(timeout) 


这 个 函数 就 是 用 来 移 除 上 面 通过 add timeouti£ At $3 callback % žk » 


8.lOLoop.spawn callback(callback, args, *kwargs) 


这 个 函数 也 是 去 执行 一 个 回调 函数 ， 但 是 和 上 面 说 过 的 其 他 callback 不 同 ， 它 和 回调 者 的 栈 上 
下 文 没 有 关联 ， 因 此 呢 ， 他 比较 时 候 去 做 一 些 独立 的 功能 回调 。 


9.10Loop.time() 


它 返回 的 时 候 ioloop 开 局 后 的 时 间 ， 返 回 的 值 跟 time.time 差 不 多 。 


2.3 ioloop78 X % Zt JC 9] 


1.add handler, update handler, remove_handler 三 个 和 handelr 有 关 的 函数 ， 通 常 是 在 写 
connection 的 时 候 用 到 的 ， 刚 开始 学 习 的 时 候 ， 不 用 太 在 意 它 的 用 法 ， 在 后 面 会 详细 说 明 。 


2.add_callback 是 比较 常用 的 函数 之 一 ， 不 管 在 tornado 还 是 其 他 的 异步 框架 中 ， 回 调 都 是 非 
常常 见 的 。 在 服务 器 启动 以 后 ， 会 有 一 些 相关 的 操作 需要 在 ioloop 启 动 后 才能 有 效 的 去 执行 ， 
那么 这 个 时 候 ， 添 加 一 个 callback 就 是 非常 必要 的 了 。 以 游戏 服务 器 为 例子 (可 能 不 贴切 )， 在 
游戏 服务 器 启动 后 ， 会 把 全 服 的 排行 榜 数 据 load 到 内 存 中 ， 那 么 这 个 时 候 就 可 以 使 用 

add callback 7 ° 


io loop - ioloop.IOLoop.instance() 
io loop.add callback(load rank list) 
io loop.start() 


其 中 load rank list 就 是 去 将 排行 榜 信 息 Iload 到 内 存 中 的 相关 操作 。 
3.call later 和 call 寸 程 中 常用 的 函数 之 一 。 它 们 给 我 们 在 做 相关 定时 的 操作 


的 时 候 带 来 了 便利 。 举 个 简单 的 例子 ， 在 晚上 9 点 需要 向 玩家 发 放 一 些 奖励 道具 ， 那 么 我 就 可 
以 用 到 call_at 


call at(time, func, *args, **kw) 


time3t ELIA 49 i AR > funke RAK AW dic» 6 HRA © call later 同 理 ， 在 
第 一 次 发 完 以 后 ， 我 们 就 可 以 使 用 call_later() 来 进行 一 个 循环 的 操作 ， call later(86400, 
func) 这 样 每 过 86400s( 一 天 )， 就 可 以 再 次 发 放 奖 励 。 


4. loop 完全 开启 ， 也 就 相当 于 我 们 整个 服务 器 开启 ， 如 果 想 要 获得 服务 器 从 开启 到 现在 的 
过 了 多 久 ， 那 么 IOLoop.time() 就 可 以 帮助 我 们 得 到 它 。 


3.what's the iostream 


我 们 了 解 了 关于 ioloop 的 一 些 相 关 函 数 ， 我 想 现 在 对 tornado 的 一 些 功能 也 有 了 大 概 的 了 解 。 
这 一 章 我 们 简单 的 了 解 一 下 tornado 里 的 iostream。 我 们 写 一 个 服务 器 ， 所 有 的 io 都 要 通过 一 
个 connection 来 传输 ， 那 么 iostream 里 就 包含 了 我 们 对 数据 的 处 理 ， 以 及 对 连接 的 一 些 操作 。 


本 章 主 要 对 BaselOStream 和 IOStream 这 两 个 类 来 进行 讲解 。 官 方 文档 见 这 里 。 


3.1BaselOStream 的 相关 接口 


简单 的 来 说 ， 这 个 类 从 socket 中 读 或 写 数据 。 


以 下 是 它 的 几 个 基本 属性 : 


io loop - 当前 的 joloop 实 例 。 

max buffer size - 最 大 的 可 接受 数据 大 小 ， 默 认 是 100M ° 
read chunk size - 读 取 的 数据 大 小 ， 默 认 64Kk。 
max_write_buffer_size - 最 大 的 写 buffer 大 小 。 





这 些 都 可 以 在 继承 的 时 候 修改 的 。 
AM 


介绍 一 下 主要 的 几 个 接口 


1.BaselOStream.write(data, callback=None) 

异步 的 写 数 据 ， 如 果 有 callback， 那 么 在 所 有 数据 成 功 写 入 以 后 执行 callback ° 
2.BaselOStream.read_bytes(num_bytes, callback=None, streaming_callback=None, 
partial=False) 


异步 的 读 取 数 据 ， 读 到 的 数据 大 小 取决 于 num_bytes。 同 理 ， 如 果 有 callback， 在 数据 完全 读 
取 后 ， 执 行 callback。 读 取 到 的 数据 data 作 为 callback 的 参数 ， 如 果 不 是 的 话 ， 那 么 callback 需 
要 返回 一 个 future 对 象 。 而 streaming_callback, 是 当 读 取 到 的 数据 全 都 是 有 效 的 情况 下 ， 才 会 
去 执行 。 

3.BaselOStream.read_until(delimiter, callback=None, max_bytes=None) 


同上 ， 只 不 过 是 当 读 delimiter( 分 隔 符 ) 的 时 候 停 止 。callback 和 read bytes 里 的 一 样 。 


4.BaselOStream.read_until_regex(regex, callback=None, max_bytes=None) 


通过 正则 来 读 取 数据 ，regex 就 是 给 定 的 正则 表达 式 。 


5.BaselOStream.read_until_close(callback=None, streaming_callback=None) 


异步 读数 据 ， 知 道 socket 关 闭 。 


6.BaselOStream.close(exc_info=False) 


关闭 当前 的 stream » 


7.BaselOStream.set_close_callback(callback) 


当 stream 关 闭 时 ， 执 行 回调 函数 。 
8.BaselOStream.closed() 

WRA A> SE AL )9]stream 72 X A T ° 
9.BaselOStream.reading() 

he RE > RAGA % WE stream Ÿ 3 Z8 
10.BaselOStream.writing() 

ARRAS ° 


以 上 呢 就 是 baselOStream 中 ， 主 要 的 接口 。 在 我 们 自己 去 写 connection 的 时 候 ， 都 会 用 的 
到 ， 这 里 先 简单 介绍 一 下 ， 在 后 面 写 connection 的 时 候 ， 我 们 会 着 重 去 讲解 。 


3.2 baselOStream 的 相关 函数 以 及 IOStream 类 


1.BaselOStream.fileno() 


这 个 很 简单 ， 就 是 我 们 Stream 当前 的 文件 描述 符 。 


2.BaselOStream.close_fd() 


关闭 过 个 fd © 


3.BaselOStream.write_to_fd(data) 


BZAMRMds Sdatay MATRA RL RE À > Ash HI Hie T 


大 小 。 


4.BaselOStream.read_from_fd(data) 


4 S444 © 


5.BaselOStream.get fd error() 


获取 fd 中 所 有 error 信 息 。 


是 成 功 写 入 数据 的 


关于 baselOStream 的 信息 差 不 都 就 这 些 了 ， 在 我 们 实际 使 用 的 过 程 中 ， 我 们 不 会 去 直接 使 用 


这 个 类 的 ， 我 们 基本 都 会 去 使 用 它 的 子 类 ，1OStream 。 


以 下 通过 官方 文档 的 例子 ， 来 简单 介绍 一 下 IOStream e 


import tornado.ioloop 
import tornado.iostream 
import socket 


def send_request(): 
# 向 目标 写 数 据 
stream.write(b"GET / HTTP/1.0NrNnHost: friendfeed.com\r\n\r\n") 
# 读 数据 ， 执 行 回调 on_headers 
stream.read_until(b"\r\n\r\n", on_headers) 


def on_headers(data): 

headers = {} 
for line in data.split(b"\r\n"): 

parts = line.split(b":") 

if len(parts) == 2: 

headers[parts[0].strip()] = parts[1].strip() 

# 读 数据 ， 最 后 关闭 Stream，io1loop 
stream.read_bytes(int(headers[b"Content-Length"]), on body) 


def on_body(data): 
print(data) 
stream.close() 
tornado.ioloop.IOLoop.current().stop() 


if name == ' qain ': 
# 创 建 一 个 socket 
s = socket.socket(socket.AF_INET, socket.SOCK STREAM, 0) 
# 创 建 一 个 stream 
stream = tornado.iostream.IOStream(s) 
HE Hts > UT 7 SK Send request 
stream.connect(("friendfeed.com", 80), send_request) 
开启 ioloop 
tornado.ioloop.IOLoop.current().start() 





3.3 Tcp Client 和 Tcp Server 


tornado.tcpclient.TCPClient(resolver=None, io_loop=None) 


这 个 呢 就 是 tornado 自 有 的 一 个 tcpclient， 使 用 它 的 时 候 ， 可 以 直接 继承 它 . 


它 有 一 个 方法 connect(host, port, af-«AddressFamily.AF UNSPEC: 0», ssl _ options=None, 
max buffer size-None) 


EAA wOStream&$ X: 4] > 4« ssl options A $ > AZ À KX EISSLIOStream ° 
通过 给 的 host 和 port 来 连接 服务 器 ， 然 后 通过 返回 的 stream， 就 可 以 进行 读 写 等 操作 了 。 
tornado.tcpserver.TCPServer(io_loop=None, 


ssl optionszNone, max buffer sizezNone, 
read chunk sizezNone) 


这 个 就 是 用 来 创建 TCPserver 的 。 它 是 非 阻塞 ， 单 线程 的 。 
来 看 一 下 关于 它 的 几 个 函数 
1.listen(port, address="") 


server = TCPServer() 
server .listen(8888) 
IOLoop.current().start() 


这 就 可 以 创建 一 个 简单 的 tcpserver， 端 口号 8888 


2.bind(port, address=None, family=, backlog=128) 
开启 多 进程 的 一 个 方法 

server = TCPServer() 

server.bind(8888) 


server.start(0) # Forks multiple sub-processes 
IOLoop.current().start() 


3.add sockets(sockets) 


也 可 以 开启 多 进程 。 


sockets = bind_sockets(8888) 
tornado.process.fork processes(0) 
server - TCPServer() 

server.add sockets(sockets) 
IOLoop.current().start() 


4.handle stream(stream, address) 


这 是 我 们 用 来 接收 stream 的 方法 。 你 可 以 通过 继承 TCPServer ， 来 覆盖 这 个 方法 。 


几 个 方法 非常 简单 ， 都 是 最 基本 的 ， 在 写 server 的 时 候 都 需要 用 到 的 。 下 一 节 我 们 来 写 一 个 简 
单 的 tcpserver ° 


3.4 一 个 简单 的 TCPServer 
以 下 是 一 个 简单 的 TCPServer 的 代码 (鸣谢 yoki123)。 


class TcpServer(object): 
def | init (self, address, build class, **build kwargs): 
self. address - address 
self. build class - build class 
self. build kwargs - build kwargs 


def accept handler(self, sock, fd, events): 
while True: 
try: 
获得 conn 
connection, address = sock.accept() 
except socket.error, e: 
return 


# 通 过 Conn 解 析 
self. handle connect(connection) 


def handle connect(self, sock): 
# 这 里 的 Conn 主 要 是 我 们 来 解析 数据 的 protocol 
conn = self. build class(sock, **self. build kwargs) 
self.on connect(conn) 


close callback - functools.partial(self.on close, conn) 
# 设 置 一 个 conn 关 闭 时 执行 的 回调 函数 
conn.set close callback(close callback) 


def startFactory(self): 
pass 


def start(self, backlog-0): 
#èl socket 
socks = build listener(self. address, backlog=backlog) 


io loop = ioloop.IOLoop.instance() 
for sock in socks: 
# 接 受 数据 的 handler 
callback = functools.partial(self._accept_handler, sock) 
#A ioloop?&Zshandler > callback 
io_loop.add_handler(sock.fileno(), callback, WRITE_EVENT | READ_EVENT | ER 
ROR EVENT) 
# 在 i01l00p 开 启 后 ， 添 加 一 个 回调 函数 
ioloop.IOLoop.current().add_callback(self.startFactory) 


# 接 受 buff 的 函数 ， 继 承 tcpserver 的 时 候 可 以 重 写 。 
def handle stream(self, conn, buff): 


logger.debug('handle stream') 


def stopFactory(self): 
pass 


def on close(self, conn): 
logger.debug('on close') 


def on connect(self, conn): 
logger.debug('on connect: %s' 96 repr(conn.getaddress())) 


handle receive - functools.partial(self.handle stream, conn) 
conn.read util close(handle receive) 


我 们 来 看 一 下 流程 ， 
1.start(). 我 们 开启 tcpserver ， 首 先 创建 一 个 socket，, 然后 我 们 为 ioloop 添 加 handler。 


2. 服 务 器 开启 后 ， 执 行 _accept_handler, 这 个 函数 里 是 一 个 循环 ， 从 socket 中 获取 conn 


一 个 protocol 类 ， 这 里 我 们 会 将 所 有 的 bytes 解 析 为 我 们 能 看 懂 的 字符 串 数 字 等 等 。 


4. 然 后 我 们 调用 on_connect 函 数 ， 我 们 将 这 个 conn 传 入 handler_stream 中 ， 前 面 讲 过 ， 这 
个 函数 是 用 来 接受 的 stream 的 。 然 后 我 们 从 stream 中 读 取 数据 ， 知 道 conn 关 闭 。 


以 上 就 是 我 们 服务 器 开启 后 执行 的 大 概 流 程 。 


what's the RPC? 





RPC (Remote Procedure CallProtocol ) 和 远程 过 程 调用 协 
议 ， 它 是 一 种 通过 网 络 从 远程 计算 机 程序 上 请 求 服务 ， 而 不 需要 
了 解 底 层 网 络 技 术 的 协议 。 


简单 来 说 rpc 就 是 client 在 不 知道 任何 底层 实现 的 情况 下 ， 可 以 直 
接 调 用 server 的 函数 方法 ; 而 server 也 可 以 直接 调用 client 的 函 
数 。 


百度 给 出 的 流程 图 : 





(3) 


| MB | 
1 i 





远程 过 程 调用 流程 图 





简单 了 解 了 什么 是 rpc， 下 面 我 就 来 在 我 们 的 server 和 client 来 实 
现 rpc 的 功能 。 


RPC on my server 
下 面 是 之 前 我 们 给 出 的 tcpserver 中 的 一 个 函数 ， 用 来 处 理 连 接 


def _handle_connect(self, sock): 
conn = self._build_class(sock, **self._build_kwargs) 
self.on_connect (conn) 


close_callback = functools.partial(self.on_close, conn) 
conn.set_close_callback(close_callback) 


build class 3j A1] 25:3 » iX AAT RA ILA protocol > A Arpea) 39 £ AA Hap 
写 在 这 里 。 现 在 假设 client 来 调用 一 个 函数 Sum(Xx, y) ， 那 么 在 我 们 Server 中 就 要 有 这 样 一 个 


def sum(x, y): 
return x+y 


但 是 客户 端 来 调用 ， 我 们 如 何 知 道 server 有 这 样 一 个 函数 呢 ? 这 就 需要 我 们 提前 去 处 理 一 下 ， 
将 希望 可 以 被 client 调 用 的 函数 存 起 来 。 


def route(**options): 
def decorator(handler): 
msgid = options.pop('msgid', handler. name ) 
elif not msgid in HANDLERS: 
HANDLERS[msgid] = handler 
else: 
raise Exception('[ ERROR ]Handler "%s" exists already!!' % msgid) 
return handler 
return decorator 


比如 我 们 可 以 写 这 样 一 个 函数 ， 作 为 装饰 器 ， 来 将 被 装饰 的 函数 存 起 来 (HANDLERS), 这 样 在 
client 调 用 sum 的 时 候 ， 我 们 就 可 以 知道 ，server 中 是 否 存在 sum 这 个 函数 。 


@route() 
def sum(x, y): 
return x+y 


这 样 函数 被 装饰 起 来 以 后 ， 我 们 就 可 以 找到 这 个 函数 了 。 当 我 们 知道 存在 sum 这 个 函数 的 时 
候 ， 我 就 可 以 从 HANDLERS 中 讲 sum 取 出 来 ， sum = HANDLERS.get('sum') ,然后 我 们 讲 X， 

两 个 参数 传 进去 ， 算 出 结果 ， 再 将 结果 写 回 conn 中 ， 给 client。 至 此 ， 客 户 端 (anes 
函数 的 大 致 流程 就 说 完了 。 


RPC on my server 
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RPC on my client 


务 器 调用 client 骂 数 也 是 一 样 的 道理 ，client 中 也 要 和 服务 器 一 样 ， 将 想 要 被 调用 的 兄 数 收 
集 起 来 。 当 然 这 个 时 候 ， 服 务 器 还 要 做 一 件 事情 ， 就 是 将 客户 端的 tcp 连 接 通过 某 种 条 件 储 存 
起 来 ， 这 样 才 知道 我 想 去 调用 哪个 client 的 函数 。 


现在 有 很 多 client 来 连接 我 们 Server， 以 游戏 为 例 ， 每 个 玩家 都 有 自己 对 应 的 uid， 那 么 我 们 
就 可 以 将 conn 根 据 uid 储 存 起 来 。 client conn = {uid:conn, ..) 这 样 ， 我 们 想 给 哪 位 玩家 发 
送 消息 或 者 做 一 些 其 他 的 事情 ， 就 很 容易 了 ， 只 要 客户 端 写 好 函数 功能 ， 我 们 只 要 将 函数 名 
字 ， 以 及 对 应 参数 ， 通 过 client_conn 找 到 对 应 玩家 的 tcp 连 接 ， 然 后 将 上 述 数据 发 送 过 ， 那 
么 当 客 户 端 计 算出 结果 以 后 ， 我 们 通过 一 个 回调 函数 ， 就 可 以 将 结果 return 到 服务 器 了 。 


现 有 的 rpc 框 架 很 多 ， 比 如 msgpack-python, 这 里 有 很 多 语言 的 rpcSimpleServer， 感 兴趣 的 同 
学 可 以 参考 一 下 。 


解读 Tornado 
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要 是 针对 TCP 编 程 中 ，tornado 中 常用 的 函数 进行 简单 的 解读 。 本 章 主要 对 tornado 性 
析 ， 来 看 一 看 我 们 到 底 为 什么 要 在 tornado 的 基础 上 进行 tcp 编 程 。 


epoll 


我 们 知道 tornado 通 过 非 阻塞 的 方式 以 及 对 epoll 的 运用 ， 才 使 得 性 能 上 得 到 了 很 大 的 提升 。 那 
么 epoll 到 底 是 什么 ， 它 在 tornado 中 扮演 着 怎样 的 角色 呢 ? 


1.epoll 解 读 


说 到 epoll， 就 得 先 说 说 阻塞 和 非 阻 塞 ， 这 里 大 家 自行 百度 或 者 脑 补 。 我 们 通常 处 理 数据 流 可 
能 是 这 样 的 


While true : 
for i in stream: 
if i has data: 
Do something with i 


这 种 方式 显然 很 差劲 ， 一 直 轮 询 ， 不 管 数 据 流 中 是 否 有 IO 事件 。 针 对 这 种 情况 就 出 现 了 
select ， 它 可 以 甄别 流 是 否 有 IO， 当 无 IO 的 时 候 ， 就 阻塞 在 那里 ， 直 到 下 一 次 1O 发 生 ， 
在 进 xt (TARTE © 


While true: 
select (stream) 
for i in stream: 
if i has data: 
Do something 


虽然 我 们 不 用 白白 的 轮 询 ， 也 知道 了 是 否 发 生 IO，， 但 却 并 不 知道 是 那 几 个 流 (可 能 有 一 
个 ， 多 个 ， 甚 至 全 部 ) ， 我 们 只 能 无 差别 轮 询 所 有 流 ， 找 出 能 读 出 数据 ， 或 者 写 入 数据 的 

流 ， 对 他 们 进行 操作 。 因此 epoll 就 诞生 了 ，epoll 全 称 就 是 event poll， 和 咱们 平常 用 的 轮 询 不 
同 ， 基 于 事件 的 epoll 会 把 哪个 数据 流 发 生 了 怎样 的 事件 告诉 我 们 。 


while true 
active stream[] = epoll wait(epollfd) 
for i in active stream[]: 
read or write till unavailable 


2.epoll 的 性 能 优势 


前 面 说 了 epoll 的 特点 ， 那 么 这 些 特 点 能 带 来 什么 好 处 呢 ? Epoll 
在 绝 大 多 数 情况 下 性 能 都 远 超 select 或 者 poll， 但 是 除了 速度 之 
外 ， 三 者 之 间 的 CPU 开销 ， 内 存 消 耗 情 况 又 怎么 样 呢 ? 


以 下 来 自 stackoverflow 网 友 的 问答 翻译 
问 : 


我 读 过 所 有 的 关于 tornado 的 书 告诉 我 在 epoll 是 可 以 替代 select 和 poll 的 ， 特 别 是 对 
twisted(twsited 是 python 的 另 一 个 十 分 有 名 的 网 络 库 )。 查 阅 epoll 以 及 其 他 的 (select 等 ) 相 关 
资料 表明 ，epoll 速 度 很 快 并 且 拓 展 性 很 强 ， 这 是 否 表 明 在 CPU 和 内 存 消 耗 上 ，epoll 仍 然 很 
5& '? 


AE. 
: 


在 socket 数 量 很 少 的 时 候 ，select 在 内 存 消耗 以 及 运行 效率 上 都 超过 epoll， 当 然 ， 这 个 差距 
是 非常 小 的 ， 以 至 于 在 绝 大 多 数 环境 下 都 可 以 忽略 。 但 是 ， 无 论 是 选择 select 还 是 epoll， 在 
不 同 场景 下 面临 的 api 复 杂 度 是 不 一 样 的 。 如 果 你 选择 了 一 个 单一 的 fd ，100， 那 么 它 的 性 能 
会 高 于 两 倍 以 上 的 fd > 50. 


Epoll 的 成 本 接近 于 fd( 文 件 描述 符 )， 如 果 你 监控 200 个 fd， 其 中 只 有 100 个 有 IO 事件 ， 那 么 你 
只 需要 支付 这 100 个 fd 的 消耗 ， 而 不 用 在 乎 另外 的 100 个 ， 这 就 是 epoll 提 供 的 优势 。 相 反 ， 当 
你 使 用 select 的 时 候 ， 如 果 1000 个 fd 都 处 于 空 闪 ， 你 仍然 要 监控 这 1000 个 fd( 简 单 的 来 讲 ， 就 
是 epoll 只 为 有 io 的 fd 支付 。 你 干 活 ， 我 付 钱 给 你 ; 你 不 干 活 ， 那 么 我 就 不 给 你 钱 )。 那 么 这 就 
意味 着 更 少 的 CPU 使 用 率 。 


关于 内 存 使 用 举 ， 简 单 来 说 ， 使 用 select 的 话 ， 你 要 花 384 字 节 监 视 一 个 文件 描述 符 ， 但 它 的 
价值 是 1024， 而 用 epoll 你 只 花 20 个 字 节 。 不 过 ， 所 有 这 些 数字 都 很 小 ， 所 以 没有 太 大 的 区 
别 o 


tornado 在 TCP 层 里 的 工作 


tornado 在 TCP 里 的 工作 


首先 是 关于 TCP 协议 。 这 是 一 个 面向 连接 的 可 靠 交 付 的 协议 。 由 于 是 面向 连接 ， 所 以 在 服务 
器 端 需要 分 配 内 存 来 记忆 客户 端 连接 ， 同 样 客户 端 也 需要 记录 服务 器 。 为 了 安全 所 以 有 了 三 
次 握手 机 制 ， 这 里 给 出 一 张 图 -- 状态 转换 图 (UNIX 网 络 编程 ) 


TCP 状态 转换 图 
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对 于 TCP 编程 的 总 结 就 是 : 创建 一 个 监听 socket， 然 后 把 它 绑 定 到 端口 和 地 址 上 并 开始 监 
听 ， 然 后 不 停 accept。 这 也 是 tornado 的 TCPServer 要 做 的 工作 。 


TCPServer 类 的 定义 在 tcpserverpy。 它 有 两 种 用 法 : bind+start 或 者 listen ° 


kk > 


简 言 之 ， 基 于 事件 驱动 的 服务 器 (tomado) 要 干 的 事 就 是 : 创建 socket， 绑 定 到 端口 并 
listen， 然 后 注册 事件 和 对 应 的 回调 ， 在 回调 里 accept 新 请 求 。 


创建 监听 socket 后 为 了 异步 ， 设 置 socket 为 非 阻塞 (这样 由 它 accept 派生 的 socket 也 是 非 
阻塞 的 ) ， 然 后 绑 定 并 监听 之 。add_ sockets 方法 接收 socket 列表 ， 对 于 列表 中 的 socket ， 
用 fd 作 键 记 录 下 来 ， 并 调用 add_accept_handler 方法 。 它 也 是 在 netutil 里 定义 的 。 


add accept handler 方法 的 流程 : 首先 是 确保 ioloop 对 象 。 然 后 调用 add handler 向 loloop 
对 象 注 册 在 fd 上 的 read 事 件 和 回调 函数 accept _handler。 该 回调 函数 是 现成 定义 的 ， 属 于 
IOLoop 层 次 的 回调 ， 每 当 事 件 发 生 时 就 会 调用 。 回 调 内 容 也 就 是 accept 得 到 新 Socket 和 客户 
端 地 址 ， 然 后 调用 callback 向 上 层 传递 事件 。 从 上 面 的 分 析 可 知 ， 当 read 事 件 发 生 时 ， 
accept_handler 被 调用 ， 进 而 callback=_handle_connection 被 调用 。 


米 22h 
TcpServer 类 的 解读 
在 TCPServer 类 的 注释 中 ， 首 先 强调 了 它 是 一 个 non-blocking, single-threaded TCP 
Server. 


那么 如 何 理解 non-blocking 呢 ? non-blocking， 就 是 说 ， 这 个 服务 器 没有 使 用 阻塞 式 API。 38 

常 来 说 ， 我 们 socket 的 读 写 都 是 阻塞 式 的 ,不 管 有 没有 数据 ， 服 务 器 都 派 API 去 读 ， 读 不 到 ， 
API 就 不 会 回来 交差 。 而 非 阻塞 区 别 在 于 没有 数据 可 读 时 ， 它 不 会 在 那 死 等 ， 它 直接 就 返回 
1 » 而 single-thread， 说 的 是 服务 器 是 单线 程 模式 ， 一 个 线程 可 以 监视 成 千 上 万 的 连接 ， 因 
此 不 需要 多 线程 。 在 ubuntu 上 用 的 是 epoll，bsd 用 的 是 kqueue 。 


在 使 用 方面 ，tcpserver 这 个 类 一 般 不 直接 使 用 ， 而 是 派生 出 子 类 ， 然 后 让 子 类 实例 化 。 可 以 
看 到 作者 是 强制 去 继承 tcpserver，handle_stream 并 没有 实现 ， 如 果 你 不 去 覆盖 ， 就 会 报错 。 


def handle stream(self, stream, address): 
"""Ovyerride to handle a new ‘.IOStream from an incoming connection.""" 


raise NotImplementedError() 


ioloop 分 析 
咱们 先 来 简单 说 一 下 ioloop 的 源码 


while True: 
poll timeout = 3600.0 


# Prevent IO event starvation by delaying new callbacks 
# to the next iteration of the event loop. 
with self. callback lock: 
并 上 次 循环 的 回调 列表 
callbacks = self._callbacks 
self._callbacks = [] 
for callback in callbacks: 
d du uri 
self. run callback(callback) 


if self. timeouts: 
now - self.time() 
while self. timeouts: 
并 超时 回调 
if self. timeouts[0].callback is None: 
# 最 小 堆 维护 超时 事件 
heapq.heappop(self. timeouts) 
elif self. timeouts[0].deadline «- now: 
timeout - heapq.heappop(self. timeouts) 
self. run callback(timeout.callback) 
else: 
seconds = self. timeouts[0].deadline - now 
poll timeout - min(seconds, poll timeout) 
break 


if self. callbacks: 
# If any callbacks or timeouts called add callback, 
we don't want to wait in poll() before we run them. 
poll timeout - 0.0 


if not self. running: 
break 


if self. blocking signal threshold is not None: 
# clear alarm so it doesn't fire while poll is waiting for 
# events. 
signal.setitimer(signal.ITIMER REAL, 0, 0) 


try: 
#X Y€Jpoll3tXepoll» AFRE’ RAAN HAMtornadoZe#pollé Ra 
event pairs - self. impl.poll(poll timeout) 

except Exception as e: 


if (getattr(e, 'errno', None) == errno.EINTR or 
(isinstance(getattr(e, 'args', None), tuple) and 
len(e.args) == 2 and e.args[0] == errno.EINTR)): 
continue 

else: 
raise 


if self. blocking signal threshold is not None: 
signal.setitimer(signal.ITIMER REAL, 
self. blocking signal threshold, 0) 


并 如 果 有 事件 发 生 ， 添 加 事件 ， 
self. events.update(event pairs) 
while self. events: 
fd, events - self. events.popitem() 
try: 
TRAE FARRE a E 49 e S HA > 
self. handlers[fd](fd, events) 
except (OSError, IOError) as e: 
if e.args[0] == errno.EPIPE: 
4 Happens when the client closes the connection 


pass 


else: 
app log.error("Exception in I/O handler for fd 96s", 


fd, exc info-True) 


except Exception: 
app log.error("Exception in I/O handler for fd %s", 


fd, exc info-True) 


简单 来 说 一 下 流程 ， 首 先 执行 上 次 循环 的 回调 列表 ， 然 后 调用 epoll 等 待 事件 的 发 生 ， 根 据 fd 
取出 对 应 的 回调 函数 ， 然 后 执行 。IOLoop 基 本 是 个 事件 循环 ， 因 此 它 总 是 被 其 它 模块 所 调 

用 。 

咱们 来 看 一 下 ioloop 的 start 方 法 ，start 方法 中 主要 分 三 个 部 分 : 一 个 部 分 是 对 超时 的 相关 处 
理 ; 一 部 分 是 epoll 事件 通知 阻塞 、 接 收 ; 一 部 分 是 对 epoll 返回 JJO 事 件 的 处 理 。 

1. 超 时 的 处 理 ， 是 用 一 个 最 小 堆 来 维护 每 个 回调 函数 的 超时 时 间 ， 如 果 超 时 ， 取 出 对 应 的 回 
调 ， 如 果 没 有 则 重新 设置 poll_timeout 的 值 


2. 通 过 self. -impl poll(poll timeout) 进行 事件 阻塞 ， 当 有 事件 通知 或 超时 时 poll 返回 特定 的 
event_pairs， 这 个 上 面 也 说 过 了 。 


本 章 主 要 介绍 一 些 开发 中 的 小 例子 ， 小 问题 ， 小 技巧 。 


1. 正 确 关 闭 服务 器 的 姿势 


有 了 时候， 服务 器 的 进程 因为 茶 种 原因 被 关闭 或 者 自己 手动 关闭 ， 无 法 保证 内 存 里 的 数据 正确 


AF RAW A cb BRA PAT > EAR > 
闭 服 务 器 。 


def sig_handler(sig, frame): 
logger .warning('Caught signal: %s', 


我 们 就 要 确保 一 切 都 正确 的 被 执行 完毕 后 ， 再 关 


sig) 


ioloop.IOLoop.instance().add callback(shutdown) 


def shutdown(): 
io loop - ioloop.IOLoop.instance() 
server.stopFactory() ##4 & X4 — 34 8 


deadline = time.time() + 5 


def stop loop(): 
now - time.time() 





ge， 保证 入 库 等 。 


if now < deadline and io_loop._callbacks: 


io_loop.add_timeout(now + 1, 
else: 
io_loop.stop() # 处 理 完 现 有 的 
stop_loop() 


def start(): 
log_initialize() 
global server 


stop_loop) 


callback% > 4 Rioloopii# 


server = RPCServer(('localhost', 5700) ) 


server.start() 


signal.signal(signal.SIGTERM, sig_handler) 


signal.signal(signal.SIGINT, sig_handler) 


2. 自 动 收 集 rpc 函 数 


服务 器 可 被 客户 端 调用 的 函数 ， 不 会 有 多 少 就 去 写 多 少 到 字典 中 , 所 以 需要 自动 去 收集 可 被 调 
用 函数 ,这 样 就 方便 许多 。 


collect.py 


#1 ,第 一 种 方法 也 比较 傻 ， 适 合 rpc 文 件 较 少 的 情况 
import rpci 


DICT = {} 


for name in dir(rpc1i): 
if name.startswith(" ^") or name.endswith("  "): 
continue 
DICT[name] = getattr(rpci, name) 


rpci.py 


# 被 调用 函数 
def func(): 
return 1 


# 第 二 种 相对 智能 一 些 
将 所 有 可 被 调用 函数 的 文件 写 入 固定 文件 夹 中 ， 比 如 取 名 为 handler 的 文件 夹 。 直 接 将 模块 jmport 或 者 也 可 以 写 入 一 
dixe 
#name 为 当前 文件 与 handler 的 相对 路 径 
_imported = [] 
for f in os.listdir(name + "/handler"): 
if f.find('.pyc') > 0: 


_subfix = '.pyc' 
elif f.find('.pyo') > 0: 
_subfix = '.pyo' 
elif f.find('.py') > 0: 
_subfix = '.py' 
else: 
continue 
fname, _ = f.rsplit(_subfix, 1) 


if fname and fname not in _imported: 
_handlers_name = '%s.%s' % (module, fname) 
__import__(_handlers_name) 
_imported.append( fname) 


3. 和 数据 库 的 那些 事 


在 开发 中 ,数据 库 是 必 不 可 少 的 , 因此 这 节 主 要 来 说 一 下 常用 的 两 种 类 型 数据 库 ,mysql 和 redis 
的 简单 使 用 


#1.mysql 算 是 最 常用 的 数据 库 之 一 了 ， KER, 功能 齐全 ,性 能 优良 。 这 里 主要 使 用 tornado 的 一 款 api， 
#tornado_ mysql? 


from tornado mysql import pools 
from tornado import gen 
from tornado import ioloop 


from tornado.concurrent import Future 
from pool import threadpool 


import functools 


SYNC, ROW, DATASET - range(3) 


. pool = None 


ioloop = ioloop.IOLoop.current() 


def init(**conf): 


global _ pool 


if not _ pool: 
. pool = pools.Pool(conf, max idle connections-5, max recycle sec-3) 


@gen.coroutine 
def execute(sql, value=None, operator=SYNC): 
assert _ pool is not None 


result - None 
if value is None: 

cur = yield _ pool.execute(sql) 
else: 

yield __pool.execute(sql, value) 
if operator -- ROW: 

result - cur.fetchone() 
elif operator -- DATASET: 

result - cur.fetchall() 
raise gen.Return(result) 


fetchone = functools.partial(execute, operator=ROW) 
fetchall = functools.partial(execute, operator-DATASET) 
# 对 几 种 简单 的 数据 库 操作 进行 了 简单 的 封装 ,便于 开发 中 的 使 用 。 


#2 .redis 算 是 比较 常用 的 数据 库 之 一 ， 一 般 使 用 来 做 Cache, 也 有 做 消息 队列 的 。 这 里 用 的 是 
#tornadoredis 这 款 api。 


import tornadoredis 
from tornado import gen 
from tornado.concurrent import Future 


pool = None 


def init(): 
global pool 


if not pool: 
CONNECTION POOL = tornadoredis.ConnectionPool(max connections-500, wait for av 
ailable-True) 
pool - tornadoredis.Client(connection pool-CONNECTION POOL, selected db-12) 


Qgen.coroutine 
def close(): 
if pool: 
yield pool.disconnect() 


@gen.coroutine 
def batch(commands) : 
assert pool is not None 
result = None 
try: 
pipe = pool.pipeline() 


for _cmd in commands: 
_op _cmd[0] 
_args = _cmd[1] 


if len(_cmd) > 2: 
_kwargs = _cmd[2] 
else: 
_kwargs = {} 


getattr(pipe, _op)(*args, **kwargs) 


result = yield gen.Task(pipe.execute) 
except Exception as e: 
print e 


raise Return(result) 


def execute(cmd, *args, **kwargs): 
assert pool is not None 
f = Future() 
def onResult(result): 
f.set result(result) 


result - None 


. func getattr(pool, cmd) 


_func(callback=onResult, *args, **kwargs) 


return f 


# 对 redis 的 操作 进行 了 统一 封装 ,直接 使 用 execute 就 可 以 ， 将 命令 作为 参数 传递 。 多 个 命令 的 执行 可 以 使 用 batch 
来 执行 ， 使 用 pipe 提 高 执行 效率 。 


多 线 程 摘 一 些 事情 


至 今 我 仍然 坚信 ， 单 线程 仍然 是 最 有 效率 的 方式 ， 比 如 nginx 就 是 个 很 好 的 例子 ， 在 python 中 
尤其 。 但 是 tornado 依 然 提供 了 多 线程 方式 来 给 开发 者 。 这 里 给 出 一 个 例子 ， 并 做 出 简单 的 解 


EXECUTOR = ThreadPoolExecutor(max workersz4) # Xxx X f£ 3 


def unblock(f): 
Qtornado.web.asynchronous 
@wraps(f) 
def wrapper(*args, **kwargs): 
self = args[0] 
def callback(future): 
self .write(future.result() )# 将 下 结果 写 回 给 ClLient 
self.finish() 


EXECUTOR. submit ( 
partial(f, *args, **kwargs)## f] £ A8 
) .add_done_callback(# 因 为 是 异步 执行 ， 所 以 返回 值 是 future 
lambda future: tornado.ioloop.IOLoop.instance().add callback( 
partial(callback，future)))# 最 后 写 回 client 的 步骤 要 在 主线 程 中 完 
成 ， 否 则 会 出 错 ， 因 此 需要 通过 回调 来 将 f 返 回 的 future 返 回 到 主线 程 中 。 
return wrapper 


class MainHandler(tornado.web.RequestHandler): 
@unblock 
def get(self): 
sleep(3) 
#self.write("ff") 
return "ff" 


线程 库 用 的 是 futures 里 提供 的 ， 比 较 简 单 ， 没 有 安装 的 童鞋 ， 可 以 用 pip install futures 来 进 
安装 . 上 面 的 例子 用 的 是 最 简单 的 http 请 求 ，tcp 中 也 是 同样 一 个 道理 ， 只 ERN 
finish 4& X, À & € socket) HET YA T o 


另外 由 于 GIL 的 限制 ， 多 线程 并 不 能 达到 利用 多 核 的 目的 ， 因 此 还 是 要 使 用 传统 的 多 进程 来 实 
现 ， 或 者 也 可 以 使 用 比较 流行 的 协 程 提 高 效率 。 了 最 理想 的 情况 就 是 netty 那 样 的 模型 ， 但 是 因 
为 python 线 程 的 问题 ， 因 此 可 以 将 线程 替换 为 stackless 中 的 微 进程 ， 每 一 条 连接 分 配 一 个 
stackless， 这 样 也 可 以 达到 一 个 目的 。 现 成 的 有 人 将 stackless 与 twisted 在 一 起 使 用 ， 有 具体 效 
果 没 有 测试 过 。 


tornado 和 celery 很 配 吻 


Celery 是 一 个 简单 、 灵 活 且 可 靠 的 ， 处 理 大量 消 息 的 分 布 式 系统 ， 并 且 提 供 维护 这 样 一 个 系 
统 的 必需 工具 。 它 是 一 个 专注 于 实时 处 理 的 任务 队列 ， 同 时 也 支持 任务 调度 。 在 我 们 日 常 的 
开发 中 ， 或 多 或 少 都 会 用 到 ， 一 些 比 较 耗 时 的 异步 任务 ， 一 些 定时 的 任务 都 可 以 用 celery 去 
做 。 


在 tornado 中 如 果 想 使 用 celery， 首 先 要 安装 celery 的 python api。 使 用 pip install celery 就 可 以 
了 ， 非 常 方便 。 

from celery import Celery, task 

c = Celery() 

这 是 最 基本 的 用 法 。 

我 们 想 要 定义 一 个 任务 ， 我 们 就 可 以 写 一 个 很 普通 的 方法 ， 比 如 

@task 

def mytask(a): 

print 1111 

只 要 加 上 @task 这 样 一 个 装饰 器 ， 它 就 会 标识 为 一 个 celery 的 task。 我 们 就 可 以 调用 他 了 。 

首先 我 们 要 启动 celery， 下 面 是 我 的 启动 命令 

celery -A my.utils.async task worker -P gevent -c 2 -l info -n 'my.worker .%%h.%(ENV_US 

ER)s' 

相关 参数 官方 文档 中 都 可 以 查 到 ， 这 里 就 不 一 一 详 述 了 。 

调用 的 时 候 ， 我 们 要 这 样 


v = mytask.apply_async(111, countdown=1) 
他 的 返回 值 是 他 的 任务 id， 通 过 任务 jd， 我 们 可 以 取消 任务 ,countdown 代 表 多 少 秒 以 后 执行 


revoke 函 数 就 是 取消 任务 的 ，revoke(task_id) 
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